θ가 바뀌면 관측별 손실과 목적함수 값이 함께 바뀐다
모델 ŷ = θx에서 θ를 바꾸면 네 관측의 제곱 손실 막대와 그 평균 J(θ), 곡선 위의 현재 위치가 함께 바뀐다.
닫힌 해가 없으면 반복해서 해를 찾는다
모델마다 목적함수를 최소화하는 θ를 수식 하나로 쓸 수 있는지가 다르다.
| 모델 | 닫힌 해 | 계산 방법 |
|---|---|---|
| 최소제곱 선형 회귀 | 있음 | 행렬 분해 등으로 계산 |
| 로지스틱 회귀 | 일반적으로 없음 | 반복 최적화 |
| 신경망 | 일반적으로 없음 | 반복 최적화 |
닫힌 해가 없는 모델은 현재 θ에서 목적함수가 줄어드는 방향을 계산해 조금씩 움직인다. 그래디언트는 국소적으로 가장 가파르게 증가하는 방향이므로 그 반대 방향 −∇J(θ)로 갱신하며, 이것이 다음 주제의 경사하강법이다.